Regression Metrics | Machine Learning | Pusan National University

MSE와 RMSEMSE는 오차 제곱의 평균이고 RMSE는 그 제곱근이라 관측값과 단위가 같다.

MAE절대 오차의 평균이며 오차 크기에 비례해 벌점을 준다.

R²1 − Σ(yᵢ − ŷᵢ)² / Σ(yᵢ − ȳ)²이며 평가 자료의 평균을 기준선으로 삼는다.

한 관측이 크게 빗나가면 MSE는 MAE보다 빠르게 커진다

관측값 y = (2, 4, 6, 8)에 대한 예측 (2, 5, 5, ŷ₄)에서 네 번째 예측값 ŷ₄를 바꾸면 그 관측의 오차와 네 지표가 함께 바뀐다.

네 번째 예측값 ŷ₄ 10

왼쪽: 짙은 점은 관측값, 빈 초록 원은 예측값, 빨간 점선은 오차다. 초록으로 채운 원이 조절하는 ŷ₄다. 오른쪽: 관측마다 파란 막대는 절대 오차, 초록 막대는 제곱 오차이며 두 막대는 같은 척도다.

관측 10개의 절대 오차 합을 10으로 고정하고, 그 오차를 몇 개 관측에 나누어 싣는지 바꾸면 MAE는 그대로이고 MSE와 RMSE만 바뀐다.

오차를 싣는 방식

칸 하나가 관측 하나다. 위 파란 막대는 절대 오차, 아래 초록 막대는 제곱 오차이며 막대 위 수가 그 값이다. 회색 칸은 오차가 0인 관측이다.

같은 관측값 y = (2, 4, 6, 8)에서 예측 방식을 바꾸면 모델의 제곱 오차 합과 평균 기준선의 제곱 오차 합의 비, 곧 R²가 바뀐다.

예측 방식

위 빨간 막대는 모델의 제곱 오차 합 Σ(yᵢ − ŷᵢ)², 아래 파란 막대는 평균 ȳ = 5를 늘 예측한 기준선의 제곱 오차 합 Σ(yᵢ − ȳ)² = 20이다. 두 막대의 길이 비는 1 − R²다.